뇌를 조각하는 노동과 단순히 스크립트를 넘겨주는 것을 비교해 보세요. 이전 자연어 처리 시대에는 도메인 적응 은 고통스러운 과정이었습니다. 전이 학습 또는 PEFT(매개변수 효율적인 미세조정)모델을 점토처럼 여겼고, 내부 가중치를 물리적으로 수정하기 위해 수천 개의 레이블된 예제가 필요했습니다. 이 과정은 계산적으로 부담이 크며, BERT와 같은 정적이고 고도로 특화된 모델 버전을 만들어냈습니다.

GPT-3의 촉매 효과

발표된 GPT-3 는 최첨단(SOTA) 의 중요한 이정표였습니다. 그것은 맥락 내 학습—즉, 모델이 프롬프트에서 직접 패턴을 인식하는 방식—일반적인 작업에 대해 특화된 미세조정의 성능과 비슷하거나 이를 초월할 수 있음을 입증했습니다. 우리는 이제 프롬프트 기반 추론으로 전환했으며, 그라디언트 업데이트의 지연과 비용은 전략적인 맥락 주입으로 대체됩니다.